关于 loyhome | 落园

2024-02-19 11:09:26

在这个AI快速改变世界的时代，园主已经从一开始被GPT表现出来的潜在智力的震撼，到现在对于层出不穷的图像视频音频AI工具有点审美疲劳了。去年的时候和朋友们感慨，在归纳和演绎之间，这个阶段归纳的力量远远超越了演绎。算力的突破仿佛像《三体》中描述的突破智子封锁一样，让可以被计算改进的模型都深深享受着巨量数据带来的断层优势，层出不穷地展现着未来的可能性。 AI模型之外，很多产业也都被基于数据的归纳和快速迭代逐渐颠覆着。shein在快时尚的成功，是千千万万的时尚元素排列组合迭代出来的。时尚爆款可能是玄学，但只要样本量足够大、选择足够多，就一定会出现几个爆款，然后只要快速跟进就可以吃到一波流量红利。类似的玩法不仅仅局限于快时尚，但凡是“义乌制造”可以连夜复制出来的消费品，都可以用这个打法。譬如手机壳，原型相对固定，考验的是设计师的创意和流行元素变化。看一个纪录片说，人们平均一个月换一个手机壳（可能是北上广的消费数据），那么消费者对于新意的渴望就成为显而易见的需求。 从文字，到图像，到视频，到落地成为一件工业制造品，快速迭代的可能性充分地考验着人们的贪心。行业之中的人们各司其职， 努力地优化着每一个可以减少成本或者提高效率的环节。那些看似玄学的艺术和非理性，最后也没敌过归纳和迭代的降维打击。 毁灭吧，消费主义快点变回极简主义吧，要不园主实在是跟不上这个光怪陆离的世界了。毕竟这人脑子还是习惯基于演绎的思考，重新训练到归纳的角度有点超出人脑算力和记忆存储的局限了。以有限对抗无限，怪不得庄子说， 吾生也有涯，而知也无涯。以有涯随无涯，殆已；已而为知者，殆而已矣！ 附录：看到一个纪录片《这货哪来的》（B站的？）来的灵感，把这些观察串联了起来。

2024-01-16 14:12:51

我看的电影电视剧不怎么多， 自我归因是我的情感其实很丰富，容易入戏太深。偶尔沉浸一两次无妨，天天沉浸这就要命了。情感丰富的体现之一就是代入感，容易把自己带入到戏中人物的情感波折之中。若对方所处的情景、地方或文化又是我略知一二的，那就更要命了，会让我不自主地联想起来很多前尘往事。 我是个一直在城市里生活的人，习惯的是密集的楼房里面大家各自忙碌的身影。然而我生活过的那些城市，每一个给我留下的印记又是个有不同的。生活过和旅游过的城市区别挺大的，因为只有认真地去生活过，才会更努力地融入当地的文化，学习当地的语言，才会在心里狠狠地扎根。在中国，北方和南方的文化已然不尽相同。在美国，西海岸的风情独自摇曳。在欧洲，南欧和西欧又相互纠缠。居住城市的变化也伴随着自身年龄的增长和心境的变化，在每一个特定的时点发生的故事并不会那么容易再重复一遍。 最近在看《繁花》。因为年少时在上海生活过一些时间，稍稍能听懂一些上海话，便更有了代入感的韵味。很多东西会随着时间流逝， 却并不是雨过无痕，心中多少留了个交流承载着那时的印记。我一直觉得我是一个勇敢的人，在二三十岁的年龄做了很多看似疯狂的事。回头看，有的时候会惊诧于自己当年那里来的毅然决然的行动力。眼瞅着奔四十岁越来越近，却发现这份勇气已然变成了个性中无法磨灭的一部分，无论外界环境已经如何天翻地覆。这或许是年少的时候在上海滩听过了太多的传说，这或许是旧金山的淘金热和硅谷的创业交错，这或许是巴黎的批判风情和巴塞的特立独行，年少的我血液中一直沸腾着“生于忧患，死于安乐”，绝不会像平淡如水的现实妥协。 每一场冒险都是要付出代价的，每一个决定都是一时冲动的。或许是生活过的城市在我身上留下了这般印记，也或许是我不经意间选择了这些气质特殊的城市。空气中交织的是那些鲜活的记忆片段，亦是倔强的个性。 永不言败。越是困难，越是折磨，越磨练人的心性。

2024-01-12 09:09:11

最近不是在折腾LLM嘛，于是就试了两条路子：用openai的api，以及直接在openai的界面里面创建GPT。 前者没啥特别的，chatgpt的api做的很成熟了，from openai import OpenAI 之后直接在python里面调用几个现成的函数就好了。可选的参数其实也不多，主要就是prompt写的好一点就行。我的要求也不高，试了试基本满足。此外我还用到了微软 azure api，也很方便，两者一结合基本一个app就搓出来了，只是暂时还只能在命令行运行，没写前端ui罢了。 后者就麻烦了。我想着自己写前端ui还挺麻烦的，就想偷个懒直接在GPT里面弄弄看看行不。结果呢，现在这个版本实在是太挫了，只支持最最基本的action，虽然可以调用其他api，但还没研究出来怎么实现用户上传的文件扔到action api call里面。搜了搜他们的论坛也没啥结果，然后心累就到此为止了。 最后贴一下如何在openai 的GPT里面调用azure api。主要是api key那里实在是反用户直觉，我找了好久……一定要选 custom 然后把自定义的名字设为 Ocp-Apim-Subscription-Key 才可以。贴个图。 当然azure api的文档做的也很差就是了，经常搜出来的是过时的文档，试一试都是404错误。哎，时间都花在这些琐碎的调试bug上了。 最后的结论是，在现在这个阶段，openai GPT的多模态做的还是太封闭，只适用于比较基础的交互需求，得等到后面允许自定义编程更丰富一些才可以。想做的稍稍复杂一点，写ui是逃不掉的了。web版还可以写个python+js凑和一下（flask这么轻量级的web开发框架真的是效率提升利器），app版xcode看了半天发现也是一等一的复杂……说好的ai改变程序开发呢？叹口气……

2023-11-29 15:01:25

逆水行舟，不进则退。每一次偷懒的后果都会反噬自己。 透过现象看本质。热点永远层出不穷，不能以有限的精力来应对无限的新闻。但也不能两耳不闻窗外事，否则换了人间都不知。 用进废退。记忆是有限的，不可能面面俱到。 ——- 舒适圈还是躺太久了，忘了外面的血腥残酷。

2023-11-14 13:59:22

上一篇说到我准备入个坑，结果就是最近埋头苦苦补习最基本的一些知识。随便写点东西梳理一下思路吧，这样万一我真的开始做点什么也算是一个基本素材。一些英文的名词我就不翻译了，反正现在大家英语都挺好的。 先来一些可以基本望文生义的名词解释。LLM=large language model = 大语言模型。这简直是个不能再俗的名字了。GPT = generative pre-trained transformer ，也是够直白的。 再来个极其简单的（受限于园主阅历）历史回顾。自然语言处理基本上经历了 word2vec, RNN，然后就是现在的transformer了。其实说到底，自然语言处理的基本问题就是一个时间序列问题。当园主意识到这点的时候也是惊掉了下巴，什么，计量里面的时间序列不是Autoregression, moving average，stationary 那些东西么，怎么看都跟自然语言扯不上关系了。后面看到做量化的人都在跟这个方向的进展，才明白说到底都是时间序列嘛。想想也是，自然语言就是一个把词按照特定顺序排列起来的数据，词与词之间的关联和顺序最终表达了一定的意义。 nlp模型想法差不多，就是基于已经有的词，预测对应的下一个词的概率。建模不是问题，但数据上来后计算是问题啊……于是有了transformer 那篇著名的 Attention is all you need，伴随着经典的encoder-decoder结构，就出现了让图灵测试不再是问题的大语言模型们。 再来一轮名词解释。自然语言到建模之前，需要先把unstructured data转换为可以计算的数字，这就是embedding 这一步，也叫token 化。然后再怎么办呢？transformer的核心是再算一下attention 矩阵，这个矩阵主要涵盖了词与词之间关联程度（不贴公式了），然后要做的就是放到神经网络里面去算了。这里有意思的是，encoder里面不只有一个基于attention数据的模型，而是多个，所以称之为 multi-head attention （多头注意力）。为啥需要多个模型呢，因为神经网络很有名的一个feature（bug）是local optima，即随着初始值的不同，参数可能会迭代到一个局部最优。至于全局最优嘛，存不存在都还是个迷。反映到encoder这里，有意思的是每个单独的模型就有可能抓住语言的某一个层面的特征，比如语法，比如逻辑，比如修辞，比如情绪，以及一些语义学还无法解释的神秘模型。但不要紧，大力出奇迹，只要计算机能算得出来就行。 encoder到这里已经可以做很多任务了，最显著的大概是sentiment analysis, 就是判断里面的情绪。比如一个评价是正面负面，或者是关于价格还是物流速度，等等。这些分类模型对于很多应用场景都是很有价值的信息提取过程，也称为auto-encoding。 decoder呢，任务就更直接，就是通过输入的新数据来预测并生成下文。这也是GPT的厉害之处，可以自己写小作文了。所以这一类也叫autoregressive model ，即AR！再看下去，其实decoder的架构和encoder很像，所以他们的并不是模型架构本身，而是任务的目标不同。 那什么时候我们会同时需要encoder和decoder呢？典型的例子就是两种语言之间的翻译。大概的数学任务就是，给定前后的词，来猜中间缺失的词是什么。这一类就是sequence to sequence 模型了。至于模型的评价，现有Rouge, Bleu等指标（怎么都是法语里的颜色……）。 好了，现在我们有一个transformer模型了，就可以高枕无忧了么？当然不是，下一阶段就是，fine-tuning 或者更准确的说，instruction fine tuning。 这一步，说到底就是让模型理解人们的意图。比如，我想让ChatGPT给我写代码，那我就会先给一个指令，help me write a code in python，这样它才可以理解我要的是代码而不是一个翻译任务。这类对于指定任务类型的 […]

2023-11-04 13:37:17

为了写下这个标题，我打字都要抖一抖。Artificial General Intelligence 这一年被炒的太火热了，我好像一个迟到的来蹭流量的似的。硅谷每几年都会有新的一波热点，追热点死得很惨的人一片片，我还是多少费了一番功夫，才觉得这不是又一个转瞬即逝的热点，而是一波新的技术革命的开端。 最近种种原因吧，花了不少时间精力来了解和思考这个领域，理论、技术和商业应用层面都有（我怎么这么牛，打脸冷静一下）。虽然前面法语的坑还没填上，但我还是想先挖个坑，要不要开个频道专门聊一下AGI和其他这一波AI技术的革新呢……哎，再挖个坑，这次可以用英文法语中文三种语言讲这个话题哎，想到这里觉得自己好厉害的样子（再打脸清醒一下）。 让我这个周末冷静冷静，再来看自己是不是又一时冲动了哈哈。

2023-07-10 03:59:03

最近美国最高法院的一则判决让Affirmative Action一下子成为了众矢之的。我不知道是不是圈子有限的缘故，我一时之间看到的竟然全都是一片对于禁止AA的叫好之声，让我不禁怀疑这里面多少只是情绪的宣泄而不是理性的思考。那我就来捅捅这个马蜂窝，讲一些自己的看法。 AA其实是美国某些高校录取时候的一项倾斜政策（当然也有人说这是歧视政策，看具体立场了）。大意就是，对于现在相对较少的民族降低录取的一些标准（比如SAT分数），从而提升新生中这些人的比例。如果代入中国的高考制度，大概相当于少数民族加分政策。为什么大部分华裔对高院的这项判决一片叫好呢？因为华裔恰恰是享受不到加分政策的民族，所以禁止AA对于华裔录取是看起来有好处的。 无论美国高校的AA也好，中国高考的加分也罢，他们背后对应的都是一个残酷的稀缺资源分配问题，哪些人可以进入更好的高校并获取更佳的教育资源。无论是中国美国，高校某种程度上都成为了“社会阶层跃迁”的一道门槛。几十年前的研究就发现，美国拥有大学文凭的人收入要比高中及以下文凭的人高许多，而这一差别随时间依旧在扩大。但与此同时，文凭通胀论和文凭无用论也逐渐在美国开始盛行。背后一个残忍的事实是，劳动力市场对于大学文凭的需求并没有随着毕业人数的增加而迅速增加，很多人不得不被挤压到以前不需要大学文凭就能胜任的岗位。说到底，文凭本身不是绝对的，而是相对的——相对于同龄人在这个劳动市场上的排名。当大学文凭拥有率从上世纪四五十年代的不到10%，一路飙升到近十年的30%（来源），这说明大学文凭本身的相对排名自然是在下降的。 人们之所以在意大学文凭，不如说更在意的是日后实现阶层上升的可能性，要不也不必称考上大学为“鲤鱼跃龙门”了。对于已经在社会顶层的人来说，有没有文凭并不会实质性的改变他们的阶级，而就算不喜欢读书，买个文凭来装点一下门面也不是什么稀奇的事情。然而对于中产阶级来说，保持现有的阶级不降落已经让人压力徒增，更不要说相互竞争拼命挤进去更高的阶层。AA阻拦的是很多中产阶级华裔实现美国梦的机会，所以他们自然会对废除AA交口称赞。 除了AA，美国高校录取的另一项倾斜政策legacy也成了下一个众矢之的。如果说AA照顾的是底层，那legacy照顾的则是顶层，因为这项政策青睐的是自己既有校友的后代。上一代能进入美国顶尖高校的大都不是平凡家庭，所以legacy就变相地照顾了社会既有利益所得者的阶层。 那么禁止AA，甚至于后面禁止legacy就能一劳永逸地给予中产阶级他们想要的机会公平吗？我觉得未必。反过来，我觉得这会进一步加剧美国社会的阶层固化。学历曾经是阶层变迁的门槛，但谁也不保证以后永远是，大学完全可以向所有人开放。就算中产阶级通过提高学历获得了收入更高的工作，那也只是劳动收入。阶层固化不仅仅是通过劳动收入来区分资源分配，往后会越来越倾向于资本收入，即“钱生钱”。资本的现有阶层有无数的办法控制社会资源的分配，比如房地产，比如通胀，这些会成为新的阶层跃迁的门槛，而且是看似公平的。社会顶层就算不想废除学历这个门槛，他们也可以通过建立更私有的学历门槛来控制阶层流动，留给中产阶级一个新的幻想就是了。中国有句古话，分久必合，合久必分，其实分分合合的国内战争恰恰反映的是阶级固化不得不通过暴力来打破的事实。美国富人近些年来学得越来越乖，他们知道为了维护自己的阶层稳定，一定不能是财富都集中在自己手里，所以他们去做慈善。他们难道就不焦虑吗？不，他们一样焦虑，只是他们可以动用手中的资源来保障自己阶层的利益。当然，还有很多其他维持相对稳定的办法，比如黄赌毒，只要人活着快乐就不会揭竿起义了。中产阶级的焦虑不会因为一个AA被禁就消失，他们应该思考的是如何真正地打破资源垄断的现实，而不是同一个阶层内部甚至于跟更底层的相互内斗。 说到这里，我又想起前几年看的Michael Sandel的《The Tyranny of Merit》，以及他对于社会公平问题本质的一些分析。当时的我觉得社会公平本身对抗的是人性中利己的“血脉相承”，即人们自然而然地会把资源留给自己的后代而不是陌生人。利己主义带来的是社会阶层固化，而社会阶层固化肯定会伤害机会平等。这就不难理解，美国华裔中产越来越浓烈的利己主义（甚至可以套上“精英主义”的美称），看似是为自己的机会公平抗争，实质的结果只能是作茧自缚，加剧阶层固化。 那么有解吗？我的悲观主义告诉我，我依旧没有完美的答案，但直觉告诉我，我们如果真的想实现机会平等就一定要想办法对抗人性中的利己主义。只有人们不再为自己的生活焦虑而时时刻刻想着自我保护的情况下（defensive mode），我们才有可能进一步讨论如何实现更大范围的公平。人们如何能不焦虑呢，除了满足基本的衣食住行等“马斯洛第一层次需求”，下一步我觉得是如何让人们的快乐不再基于攀比。 按康德所说，自由一定是基于人性本愿的，而人性本善则是从物质和道德两个方面都要有保障的。物质层面，资源资源分配制度上这可能被共产主义保障，也可以是其他资源分配形式来保障人们一直不利己的自由。道德层面，则需要一代代人不停地努力来抵抗利己主义的诱惑。到那个时候，社会公平必然是自然而然的。只是我们还相距甚远，但愿我们不是向着相反的方向使劲就好了。

2023-06-16 05:23:41

这两个城市其实挺不一样的，直接对比网上有很多，我也提供不了什么新的信息。在巴黎住了快一年了，作为居民有机会感受到一些细微之处，便在此碎碎念一番。 治安。网上一搜，到处都是巴黎治安差的信息，这确实不能跟东亚比。但至少，巴黎人没枪啊，我走在路上基本还是感到很安全的，最多就是防小偷。再就是巴黎街上人多啊，那怕你半夜出门还是不少地方灯火通明的，不像旧金山落日之后一片死寂。打扮低调点，比如穿一身优衣库基本款配书包或帆布袋基本是不会招人眼球的。相比而言，旧金山的乱还是让我心有余悸的。 卫生。虽然巴黎在欧洲城市里都算脏的，但跟旧金山比还是干净的……哎，我已经麻木到在街上看不到人随地大小便就觉得还挺干净的程度了。 交通。这大概是美国大部分城市的软肋了。巴黎城里地铁公交火车密布，短距离最快的则是骑公共自行车。跟旧金山出门就开车或者坐车比，实在是好到不知哪里去了。 零售业。与人口密度和交通便利相辅相成的则是发达的零售业。随处可见的餐厅、超市和各种商店，使得我基本不会在冰箱囤积过多的食物。我住的公寓只有一个迷你冰箱（就酒店mini bar里面那种半个人高的小号冰箱），却也不觉得影响到吃饭质量。旧金山虽说是城市，但出门购物往往还是需要稍稍计划一下的，不像巴黎随时想起随时买。超市和生鲜店密集的好处自然是新鲜蔬果吃得会很多，如果不是碰巧巴黎好吃的面包店也很密集，我觉得我是不会长胖的…… 人力成本。旧金山人力成本之贵着实无解，毕竟生活成本摆在那里。记得当时打扫一次公寓基本是三位数起跳。巴黎房租大概是旧金山一半，打扫公寓的费用也差不多是一半。理发、快递外卖的人力价格也差不多是一半吧。巴黎服务业的发达也跟人力成本相对便宜脱不开干系。 以穿着评价人。旧金山大家都穿得很随意，偶尔见到个亚洲妹子打扮得很精致还挺稀奇的。巴黎则是会被不知不觉的评价，穿得差一点去商店买东西都没销售搭理，穿太鲜艳的衣服还会被当成店员问问题。这和以前在伦敦的感受如出一辙。后面我也无所谓了，反正不影响我生活就行，你们爱在后面嚼舌根是你们的事儿。 服务态度差。很神奇的是，虽然巴黎人力成本低，但他们的服务态度却参差不齐，有时候差到让人忍不住投诉。曾经有一次在相对昂贵的餐厅点餐，我说不要加坚果（nuts），因为我过敏。然后餐盘上来一层华丽丽的杏仁片。餐厅经理居然过来怼我，说杏仁不算坚果，是我没说清楚。当时我和我的小伙伴们都震惊了，从没见过餐馆这么横的……真吃下去出严重事故你们要关门的吧？美国小费文化让人吐槽，但无论价位，我还真没遇到过对食物过敏这么漠视的餐厅和服务人员。在巴黎很多商店也是，就算我说法语有时他们的态度依然很差，好像法语天然就是很冲的似的…… 科技冷漠。可能出了旧金山，出了我的小圈子，世界上大部分人对科技都没有那么热衷吧。当然可能还有巴黎电子产品特别贵的原因，毕竟税高。 以法语为傲。如果你问法国人，什么人对他们来说是法国人，答案不是血缘，而是法语。跟他们的邻居英国人相比，法国人大概还是很怨念当年拥有广阔海外殖民地的高光年代吧。他们骨子里对英语的鄙视，某种程度上也成了固步自封的枷锁。相比而言，旧金山还是对语言很包容的。 维权。法国人骨子里的倔强和懒散，成就了罢工这一胜景。相比而言，旧金山大家偶尔stand-up一下就要上新闻真是弱爆了。但在美国的人都很实际，干嘛跟钱过不去，自由能有赚钱重要吗……毕竟自由女神像都是法国送的呢。 批判思维。我在巴黎遇到的人都是很有批判性的，让人觉得好像没美国人那么容易被洗脑。这一方面跟教育有关（见前篇日志），另一方面也跟他们接触的信息更丰富有关。文化的繁荣还是有助于人们的心智成熟的。 文化繁荣。巴黎据说有三百多个博物馆，我大概去了不到五分之一。巴黎随处可见路口的报刊亭，这东西我在美国好几年没见过了。巴黎还有很多书店和图书馆，当然这可能跟拉丁区大学密布有关。巴黎还有很多演出、展览、盛会，看看地铁站里不时更新的广告就知道又有什么文化活动来巴黎了。来了巴黎之后，我很少有机会无聊到去刷购物网站来借买买买消遣时间了，很大程度上也是因为精神的富足。旧金山嘛，算了城市的体量不一样，不比了。 扣。巴黎人相对很抠，嗯，就是吝啬的意思。反正我对他们的礼物从来都是没有任何期望的，不要指望他们会同样价格还礼就是了。哎，欧洲的低收入和高税率摆在那里，确实还是手头拮据的。 慢。虽然在哪个国家跟政府部门打交道都是一件痛苦的事，但慢到法国这样的也不多了，他们的邻居西班牙和意大利都比这儿强。哎，时刻提醒自己，千万别跟中国的办事效率比，期望越高越痛苦。 托底。巴黎的穷人有全民医疗和公立教育托底，整体而言我觉得比旧金山的穷人还是要幸福一些的，至少还有一点希望不是？ 先写到这里，想起来日后再补充。